通过跨层潜向量量化实现逐层嵌入的极致压缩
🧭 LLM 嵌入压缩 · 向量量化
Mohamed bin Zayed University of Artificial Intelligence · Westlake University · Zhejiang University · University College London · Weizmann Institute of Science
提出 OPTIC，每 token 只存一个共享量化码，各层用仿射解码器还原层嵌入，实现约 100 倍 PLE 压缩并保留 97.8% 性能
📌 工作参考价值（4 点）
- 对超大 embedding 表（如 item/user ID embedding、多粒度语义 ID、序列模型 token embedding）做压缩时，可以借鉴「每 token/item 只存一个共享 code tuple + 各层/各任务用轻量仿射解码器」的结构，避免为每个层或每个上下文单独存储完整向量，显著降低参数量和存储成本。
- 压缩时不要只做向量重建，要直接拟合输出路径或下游任务损失。业务中可改为用蒸馏 loss 或 CTR/CVR 损失联合训练 codebook 和 decoder，比单纯最小化 embedding MSE 更能保留排序/推荐质量。
- 在生成式推荐或 LLM4Rec 场景，如果使用多层 Decoder 的 per-layer item/token embedding，OPTIC 的 shared token code 可等价为仅存一份 item 语义码，逐层 affine 解码出适合不同层表征需求的 embedding，适合推理端内存敏感的服务部署。
- 工程上可借鉴其 29.7% GPU 内存下降、几乎不增加延迟的结果：对 embedding 表做高倍压缩能直接释放显存，支撑更大 batch 或更长序列，但要避免 decode 过程引入高额计算，建议用简单仿射变换而不是复杂网络。
MoE 语言模型中专家的高阶剪枝
🧭 MoE 专家剪枝 · 二阶交互建模 ★ 深度解读
AWS Agentic AI · AI Fundamental Research
提出 HOPE 二阶专家剪枝，考虑专家协同交互，显著优于一阶方法，在高剪枝率及 Agent 任务上优势更大
📌 工作参考价值（4 点）
- 对业务中部署的大规模 MoE 推荐/排序模型，可参考 HOPE 的交互矩阵思路，在专家剪枝时不仅看单个专家的激活/输出贡献，而是记录 pair 共激活的乘积，构建 F 矩阵并解 QP；工程实现轻量，校准开销仅增加 6-7%，QP 每层 1-2 秒。
- 剪枝校准集需匹配目标场景：HOPE 在 coding/agentic 校准集上表现不同，建议按业务流量（搜索、推荐、广告）分别采集校准数据，避免跨域剪枝性能损失。
- HOPE 保留的专家组具有高协同评分，剪枝后模型可作为 downstream SFT 起点且优势持续，适合在业务中先剪枝再微调以进一步恢复/提升效果。
- 高剪枝率（40-50%）释放内存最多，正是部署价值最大的区间，此时二阶交互优势最显著；若业务需要极限压缩，应优先采用二阶剪枝而非简单一阶方法。
文本嵌入模型的后训练量化失效图谱：四个模型家族的实测研究
🧭 模型量化与检索嵌入压缩
ThakiCloud
在检索嵌入模型上系统验证量化启发式建议，发现嵌入表保护和模块敏感度排序均不可迁移，蒸馏学生模型在极端量化下更优
📌 工作参考价值（4 点）
- 量化检索 embedding 模型时不要直接套用 LLM 量化经验：embedding table 并不总是需要最高优先保护，INT4/g16 下各模块独立量化损失差异不足 1 个 NDCG 点，均匀量化即可，无需复杂的混合精度分配。
- 在 INT3 及以下位宽，模块敏感度排序因模型家族而异（Qwen 中 FFN 最敏感，BGE-M3 和 E5 中 attention 最敏感），需要针对自有模型重新测量，不能依赖通用排序。
- 重建误差代理可用于筛选全局位宽，但不可用于选择具体保护哪些 tensor，因为其跨位宽的强预测力是 range-extension 伪影；实际选型应在目标检索任务上做 per-query bootstrap 检验。
- 若需 INT3/INT2 极端压缩，可考虑训练一个更小的蒸馏学生模型并量化，可能比直接量化大模型更优（文中 109M 学生 INT3 在 68.4 MB 下 NDCG@10 达 78.04，优于 0.6B 教师量化版本的 64.46 / 297.9 MB），但注意这种优势仅限蒸馏任务内。
希尔伯特算子渐进编码（HOPE）：深度网络学习表征的数学解构框架
🧭 模型压缩与表征解构 · 希尔伯特空间
Google DeepMind · University of California, Berkeley
将网络压缩从离散域搬进希尔伯特空间，用秩1算子统一剪枝与合并，实现无数据无超参数的跨层架构决策
📌 工作参考价值（4 点）
- 可将 HOPE 的秩1算子度量用于推荐模型（如 CTR 预估塔、多任务 MMoE）的结构化冗余分析，指导高效剪枝与专家合并，减少推理延迟。
- 无数据、无超参数特性适合电商/搜索场景中的隐私受限模型压缩（如用户行为数据不可回传时的端侧模型瘦身）。
- 宏块驱除可一次性评估残差块、FFN 子层等复杂子结构的可丢弃性，在 Agent 链式调用 LLM 时对反复调用的基座层做低成本精简。
- 该框架解耦压缩决策与具体层的类型/大小，可嵌入 AutoML 流水线，自动为召回、排序、多模态模块生成帕累托最优的裁剪方案。
单教师视角增强：利用学生引导扰动改进知识蒸馏
🧭 知识蒸馏 · 视角增强
用学生动态特征引导无参数循环移位生成多样视角，实现单阶段高效知识蒸馏
📌 工作参考价值（4 点）
- 电商/广告推荐模型压缩场景（如CTR、排序模型）中，蒸馏轻量级在线模型时，可直接使用学生模型的动态特征生成多视角监督，提升泛化能力，无需维护多个教师或复杂的训练流程。
- 无参数的循环移位扰动实现零额外参数开销，适合资源敏感型线上推理环境；单阶段训练避免预教师训练，简化工程链路。
- 可借鉴该思路将学生特征作为条件，设计自适应噪声注入（如特征层随机移位、维度重排），生成多样化的虚拟教师视图，替代传统的固定教师输出。
- 方法对模型结构无侵入性，可快速集成到现有的 logit/feature 蒸馏框架中，实验观察可直接迁移至电商领域的同等架构模型。
基于路由轨迹的MoE结构化剪枝方法MAESTRO
🧭 MoE模型压缩 · 全局重要性评估
Indian Institute of Technology Delhi · NVIDIA
将专家激活轨迹建模为马尔可夫链，利用稳态分布评估全局重要性，实现MoE模型的高效剪枝
📌 工作参考价值（4 点）
- 对于部署MoE大模型的场景（如DeepSeek、Mixtral），可直接采用MAESTRO在保持性能的同时压缩50%参数，显存占用和部署成本大幅下降，适合资源受限的在线推理环境。
- 该方法通过建模专家激活的跨层转移依赖，计算全局重要性，可借鉴到推荐系统的多专家网络或多任务模型中，用于识别并裁剪冗余模块，提升模型效率。
- 剪枝过程保持路由一致性（routing-congruent），减少剪切前后路由分布漂移，这一思想可迁移到推荐模型的召回/排序链路中，在模型压缩时保留原始决策逻辑。
- 评估覆盖安全、偏见、伦理等领域，剪枝后模型跨任务方差更低，说明该方法产出更鲁棒的通才模型，适合需要兼顾多业务目标的平台（如电商搜索推荐同时需保证公平性与安全性）。
Moebius：0.2B轻量级图像修复框架，性能比肩10B模型
🧭 图像修复轻量化 · 知识蒸馏
Huazhong University of Science and Technology · VIVO AI Lab
通过新型骨干块与自适应多粒度蒸馏，用2%参数实现超10倍推理加速，修复质量媲美10B级工业模型
📌 工作参考价值（4 点）
- 骨干块中的 Local-λ 和 Interactive-λ 模块将空间与语义信息压缩为固定线性矩阵，大幅减少参数，这种“张量分解”式的特征交互压缩思路可直接用于推荐模型中的 MLP 层或 Attention 层压缩，降低推理成本。
- 自适应多粒度蒸馏策略在潜在空间动态平衡像素、语义等多层级损失，无需解码回像素空间，该方法可迁移到排序模型的知识蒸馏中：在 embedding 或 logits 层直接进行多目标蒸馏，避免昂贵的全图输出，提升效率。
- 将 10B 通用大模型的专业能力蒸馏到 0.2B 任务专用模型，在推荐场景可借鉴为：用大规模通用推荐模型（如 LLM4Rec）蒸馏出针对特定业务（如服饰 Occlusion 预测、商品图补全）的高效小模型，降低延迟。
- 整体框架强调“极致压缩 + 针对性蒸馏”，启发我们在 Agent 工具调用或搜索结果补全等实时性要求高的任务中，构造一个能快速执行的轻量 specialist，而非依赖厚重通用模型。
通过教师对齐的端到端蒸馏实现高保真两步图像生成
🧭 图像生成 · 扩散模型蒸馏
Z-Image Team, Alibaba Group · The Chinese University of Hong Kong
用教师对齐对抗学习、分步解耦参数化和端到端迭代正则化，将8步扩散模型蒸馏至2步，显著缩小质量差距
📌 工作参考价值（4 点）
- 教师对齐对抗学习思路可迁移到推荐系统知识蒸馏：用教师模型输出作为 GAN 的“真实”样本，比外部数据更易拟合，可缓解模式坍塌，适用于召回 / 排序模型的轻量化训练。
- 分步解耦参数化可借鉴到多阶段 Agent 推理链：对不同步骤分配独立参数，针对性优化各阶段容量，适合多步推理、级联推荐等场景。
- 端到端迭代正则化让中间步骤接收最终质量梯度，同时保留中间监督，可用于多阶段推荐模型训练，使粗排 / 召回同时对齐最终精度且保持中间结果可用。
- 极限压缩（2 步）下的质量保持策略对实时推荐场景有启发：例如将重排序模型蒸馏为轻量两阶段模型时，可通过类似技巧压缩推理开销，维持效果。
Rec-Distill：面向工业推荐的大规模模型蒸馏框架
🧭 推荐系统 · 知识蒸馏 · 大规模模型压缩 ★ 深度解读
ByteDance AML · ByteDance
解耦式蒸馏框架将大模型（24B参数、20K序列）知识高效迁移至轻量线上模型，迁移率超60%并取得商业收益
📌 工作参考价值（4 点）
- 解耦式蒸馏推进大模型复用：教师与学生对训练完全解耦，教师持续流式更新并缓存logits，学生异步消费。可参考此“1-to-N”范式，一个大教师同时服务多个小模型（如召回、粗排、精排），显著降低训练成本，实现线上模型不限制实验规模。
- 黑盒蒸馏+loss缩放：使用教师输出logits的交叉熵损失，简单有效，且观察到蒸馏损失尺度比主任务损失小两个数量级时效果差，需通过调大系数α对齐量级。实际部署时可直接采用CE蒸馏，并手动调大α。
- 去偏机制解决样本分布不匹配：教师和学生训练数据采样策略不同导致logits偏差，通过将教师logits用学生侧去偏公式重校正（𝑇2′=𝑓𝑆(𝑇1)），再与学生去偏logits蒸馏，可提点0.1%。电商场景普遍存在采样偏差，该方法可复用。
- 混合批-流式管道保证实时性：批训练阶段用大量数据快速收敛，流式阶段从高速存储读取教师最新logits追加到学生流数据，实现分钟级延迟适应数据分布变化，避免线上掉点。适合实时推荐系统的高频更新需求。
HodgeCover：高阶拓扑覆盖驱动稀疏MoE压缩
🧭 稀疏MoE压缩 · 高阶拓扑
Princeton University
利用Hodge分解暴露MoE专家三元合并障碍，通过覆盖谐和核与临界三角形实现无学习压缩
📌 工作参考价值（3 点）
- 若业务模型包含MoE层（如多任务推荐、多域适配），可直接使用基于KL散度的专家合并障碍构建方法，并通过Hodge分解识别被成对信号掩盖的三元合并风险，避免压缩后精度异常下降。
- 方法无重训练，适合在线服务模型快速压缩；混合变体（HodgeCover + 权重剪枝）可灵活平衡保留质量与压缩率，提供现实可行的压缩前沿。
- 拓扑视角可迁移至其他多组件联合决策问题，如推荐中多兴趣路由模块、多Agent协作选择等，考虑高阶交互避免局部最优。